Cũng trong năm 559, Văn Tuyên Đế qua đời và hoàng thái tử Cao Ân lên kế vị, tức Phế Đế. Cao Ân trở thành hoàng đế khi mới 16 tuổi. Sau khi kế vị, theo di nguyện của cha, việc triều chính được đặt trong tay một vài người mà ông ta tin tưởng, bao gồm Khai Phong vương Dương Âm (楊愔), Bình Tần vương Cao Quy Ngạn (高歸彥), Yên Tử Hiến (燕子獻), và Trịnh Di (鄭頤). Những quan lại này (ngoại trừ Cao Quy Ngạn) không tin tưởng Cao Đam và anh họ là Thường Sơn vương Cao Diễn, họ cho rằng với vị thế là hoàng thúc, hai người sẽ tạo ra mối đe dọa cho hoàng đế.

Trong khi đó, Dương Âm đã tiến hành một kế hoạch tái tổ chức chính quyền nhằm tinh giản các chức tước không cần thiết và loại bỏ các quan lại bất tài. Các quan lại bị tổn hại từ những hành động của Dương Âm đã trở nên bất mãn và họ hy vọng rằng Cao Diễn và Cao Đam sẽ hành động và bắt đầu khuyến khích hai người làm như vậy. Dương Âm đã tính đến việc đưa Cao Diễn và Cao Đam ra ngoài kinh thành để làm thứ sử hay châu mục, song Phế Đế ban đầu đã từ chối. Dương Âm viết một tấu trình cho Lý thái hậu để xin bà cho quyết định, Thái hậu đã hỏi ý của Lý Xương Nghi (李昌儀) song người này lại để lộ tin tức cho Lâu thái hoàng thái hậu. Thái hoàng thái hậu đã thông báo cho hai hoàng thúc, và họ đã mưu tính về một cuộc phục kích cùng với Cao Quy Ngạn và các tướng Hạ Bạt Nhân (賀拔仁) và Hộc Luật Kim tại một buổi lễ mà Cao Diễn có một chức vụ lễ nghi. Dương Âm, Khả Chu Hồn Thiên Hòa (可朱渾天和), Yên Tử Hiến, Trịnh Di và Tống Khâm Đạo (宋欽道) đều bị đánh đập dữ dội và bị bắt. Cao Diễn và Cao Đam sau đó tiến vào hoàng cung và công khai buộc tội Dương Âm cùng các cộng sự; Dương Âm và các cộng sự bị hành quyết, và Cao Diễn nắm quyền kiểm soát triều đình.

Ngay sau đó, Cao Diễn đã đến nắm giữ chức vụ ở bồi đô Tấn Dương (晉陽, nay thuộc Thái Nguyên, Sơn Tây) và kiểm soát triều đình từ xa, để kinh đô Nghiệp thành cho Cao Đam quản lý. Sang năm 560, Lâu thái hoàng thái hậu đã ban một chiếu chỉ phế truất Cao Ân và lập Cao Diễn làm hoàng đế, tức là Bắc Tề Hiếu Chiêu Đế. Hiếu Chiêu Đế tiếp tục trú tại Tấn Dương, còn Cao Đam tiếp tục trấn thủ Nghiệp thành.

Tuy nhiên, mối quan hệ giữa Hiếu Chiêu Đế và Cao Đam bắt đầu trở nên tồi tệ, nguyên nhân là do Hiếu Chiêu Đế từng hứa với Cao Đam rằng sẽ lập ông làm hoàng thái tử, song sau đó lại lập con trai là Cao Bách Niên. Năm 561, Hiếu Chiêu Đế đã cố gắng chuyển giao một số quyền lực của Cao Đam tại Nghiệp thành cho con trai của Hộc Luật Kim là Hộc Luật Tiện (斛律羨), song Cao Đam đã từ chối chuyển giao bất kỳ quyền lực nào. Đến khi Hiếu Chiêu Đế muốn trừ khử cháu trai Cao Ân và cho triệu người này đến Tấn Dương, Cao Đam đã dự định phục vị cho Cao Ân và bắt đầu một cuộc nổi dậy chống lại Hiếu Chiêu Đế, song sau đó ông đã đưa Cao Ân đến Tấn Dương vì các pháp sư nói với ông rằng một ngày nào đó ông sẽ lên ngôi làm hoàng đế.

Đến mùa đông năm 561, Hiếu Chiêu Đế đã bị thương do ngã ngựa trong một chuyến đi săn. Sau đó, nghĩ rằng bản thân sắp qua đời, Hiếu Chiêu Đế đã ban một chiếu chỉ nói rằng Cao Bách Niên còn quá nhỏ đề kế vị, và rằng đế vị sẽ được truyền cho Cao Đam. Hiếu Chiêu Đế cũng viết một lá thư cho Cao Đam, nói rằng: "Bách Niên vô tội. Em có thể làm bất kỳ điều gì với nó, song xin đừng sát hại nó!" và qua đời. Sau khi phái các thân tín đi thăm dò về tính xác thực của việc Hiếu Chiêu Đế qua đời, Cao Đam đã nhanh chóng đến Tấn Dương và lên ngôi, tức là Bắc Tề Vũ Thành Đế.